L'edificio fu costruito fra il 1866 e il 1876 su progetto di Friedrich August Stüler, che si basò sugli schizzi fatti da Federico Guglielmo IV. L'edificio poggia su di un alto basamento ed è raggiungibile tramite una doppia scalinata, sulla cui sommità vi è una statua equestre di Federico Guglielmo IV, opera dell'artista berlinese Alexander Calandrelli. La facciata dell'edificio è preceduta da una fila di colonne, sul timpano vi è la raffigurazione della Germania come patrona delle arti, mentre in cima all'edificio si trova una scultura rappresentante l'arte. Sul frontone vi è poi un'iscrizione: Der Deutschen Kunst (All'arte tedesca).

 

Originariamente il museo doveva ospitare la collezione di arte esposta all'Akademie der Künste. Dopo la seconda guerra mondiale, la collezione fu dispersa e in parte venne recuperata ed esposta alla Neue Nationalgalerie, costruita proprio a questo scopo. Per questa ragione il museo venne ribattezzato Alte, ovvero antica. Successivamente alla riunificazione, la collezione venne ricomposta; comprende opere di Arnold Böcklin, Adolph von Menzel e Max Liebermann. Oltre a tali artisti sono esposte opere degli impressionisti francesi, tra le quali l'estate di Renoir. In due nuove sale sono esposte opere del Romanticismo tedesco, di Karl Friedrich Schinkel, Karl Blechen e Caspar David Friedrich, precedentemente esposte allo Schloss Charlottenburg. Oltre alla collezione pittorica, sono esposte sculture di Christian Daniel Rauch, Reinhold Begas e Johann Gottfried Schadow.